随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们介绍了第一个MIPI挑战，包括五个曲目，这些曲目着重于新型图像传感器和成像算法。在本文中，引入了RGBW关节Remosaic和Denoise，这是五个曲目之一，在全面分辨率上进行了RGBW CFA插值的插值。为参与者提供了一个新的数据集，其中包括70（培训）和15个（验证）高质量RGBW和拜耳对的场景。此外，对于每个场景，在0dB，24dB和42dB上提供了不同噪声水平的RGBW。所有数据均在室外和室内条件下使用RGBW传感器捕获。最终结果是使用PSNR，SSIM，LPIPS和KLD在内的客观指标评估的。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。
translated by 谷歌翻译
随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了RGBW关节融合和Denoise，这是五个曲目之一，其中一条致力于将Binning模式RGBW融合到拜耳。为参与者提供了一个新的数据集，其中包括70（培训）和15个（验证）高质量RGBW和拜耳对的场景。此外，对于每个场景，在24dB和42dB处提供不同噪声水平的RGBW。所有数据均在室外和室内条件下使用RGBW传感器捕获。最终结果使用客观指标，包括PSNR，SSIM}，LPIPS和KLD评估。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。
translated by 谷歌翻译
随着移动平台上对计算摄影和成像的需求不断增长，在相机系统中开发和集成了高级图像传感器与新型算法的发展。但是，缺乏用于研究的高质量数据以及从行业和学术界进行深入交流的难得的机会限制了移动智能摄影和成像（MIPI）的发展。为了弥合差距，我们引入了第一个MIPI挑战，其中包括五个专注于新型图像传感器和成像算法的曲目。在本文中，引入了QUAD Remosaic和Denoise，这是五个曲目之一，在完全分辨率上进行了四QFA插值向拜耳进行插值。为参与者提供了一个新的数据集，包括70（培训）和15个（验证）高品质四边形和拜耳对的场景。此外，对于每个场景，在0dB，24dB和42dB上提供了不同噪声水平的四边形。所有数据均在室外和室内条件下使用四边形传感器捕获。最终结果使用客观指标，包括PSNR，SSIM，LPIPS和KLD。本文提供了此挑战中所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/mipi2022。
translated by 谷歌翻译
AI的创作（例如诗歌或歌词产生）吸引了行业和学术社区的越来越多的关注，在过去的几年中，许多有前途的模型提出了许多有前途的模型。现有方法通常基于单个和独立的视觉或文本信息估算输出。但是，实际上，人类通常会根据自己的经验进行创作，这可能涉及不同的方式并依次相关。为了模拟这种人类能力，在本文中，我们根据人类的经验来定义和解决一个新颖的AI创建问题。更具体地说，我们研究了如何基于顺序多模式信息生成文本。与以前的作品相比，此任务要困难得多，因为设计的模型必须很好地理解和适应不同模式之间的语义，并以顺序的方式有效地将其转化为输出。为了减轻这些困难，我们首先设计了配备有多模式注意力网络的多通道序列到序列体系结构。为了获得更有效的优化，我们然后提出了针对顺序输入量身定制的课程负抽样策略。为了基准这个问题并证明我们的模型的有效性，我们手动标记了一个新的多模式体验数据集。使用该数据集，我们通过将模型与一系列代表性基线进行比较，进行了广泛的实验，我们可以基于自动和以人为中心的指标来证明模型的显着改进。代码和数据可在：\ url {https://github.com/aman-4-real/mmtg}中获得。
translated by 谷歌翻译
准确，快速的双核细胞（BC）检测在预测白血病和其他恶性肿瘤的风险中起着重要作用。但是，手动显微镜计数是耗时的，缺乏客观性。此外，由于bc显微镜整体幻灯片图像（WSIS）的染色质量和多样性的限制，传统的图像处理方法是无助的。为了克服这一挑战，我们提出了一种基于深度学习的结构启发的两阶段检测方法，该方法是基于深度学习的，该方法是在斑块级别的WSI-Level和细粒度分类处实施BCS粗略检测的级联。粗糙检测网络是基于用于细胞检测的圆形边界框的多任务检测框架，以及用于核检测的中心关键点。圆的表示降低了自由度，与通常的矩形盒子相比，减轻周围杂质的影响，并且在WSI中可能是旋转不变的。检测细胞核中的关键点可以帮助网络感知，并在后来的细粒分类中用于无监督的颜色层分割。精细的分类网络由基于颜色层掩模的监督和基于变压器的关键区域选择模块组成的背景区域抑制模块，其全局建模能力。此外，首先提出了无监督和未配对的细胞质发生器网络来扩展长尾分配数据集。最后，在BC多中心数据集上进行实验。拟议的BC罚款检测方法在几乎所有评估标准中都优于其他基准，从而为诸如癌症筛查等任务提供了澄清和支持。
translated by 谷歌翻译
定义和分离癌症亚型对于促进个性化治疗方式和患者预后至关重要。由于我们深入了解，子类型的定义一直在经常重新校准。在此重新校准期间，研究人员通常依靠癌症数据的聚类来提供直观的视觉参考，以揭示亚型的内在特征。聚集的数据通常是OMICS数据，例如与基本生物学机制有很强相关性的转录组学。但是，尽管现有的研究显示出令人鼓舞的结果，但它们却遭受了与OMICS数据相关的问题：样本稀缺性和高维度。因此，现有方法通常会施加不切实际的假设来从数据中提取有用的特征，同时避免过度拟合虚假相关性。在本文中，我们建议利用最近的强生成模型量化量化自动编码器（VQ-VAE），以解决数据问题并提取信息的潜在特征，这些特征对于后续聚类的质量至关重要，仅保留与重建有关的信息相关的信息输入。 VQ-VAE不会施加严格的假设，因此其潜在特征是输入的更好表示，能够使用任何主流群集方法产生出色的聚类性能。在包括10种不同癌症的多个数据集上进行的广泛实验和医学分析表明，VQ-VAE聚类结果可以显着，稳健地改善对普遍的亚型系统的预后。
translated by 谷歌翻译
本文介绍了我们针对CVPR2022通用事件边界字幕（GEBC）竞赛的冠军解决方案。 GEBC要求字幕模型对给定视频边界周围的瞬时状态变化具有理解，这使其比传统的视频字幕任务更具挑战性。在本文中，提出了对视频内容编码和字幕生成的改进的双流变压器：（1）我们利用三个预训练的模型从不同的粒度中提取视频功能。此外，我们利用边界的类型作为提示，以帮助模型生成字幕。 （2）我们特别设计一个称为双流变压器的模型，以学习边界字幕的区分表示。 （3）为了生成与内容相关和类似人类的标题，我们通过设计单词级合奏策略来提高描述质量。 GEBC测试拆分的有希望的结果证明了我们提出的模型的功效。
translated by 谷歌翻译
本文为旋转组开发了旋转不变的阵阵卷积，因此（3）可以提炼球形信号的多尺度信息。球形的阵头变换从$ \ mathbb {s}^2 $推广到SO（3）组，该组通过一组紧密的Framelet操作员将球形信号分解为近似和详细的光谱系数。分解和重建过程中的球形信号实现了旋转不变性。基于阵型变换，我们形成了一个带有多个SO（3）一面卷积层的NEDLET近似均值球形CNN（NES）。该网络建立了一个强大的工具，可以提取球形信号的几何不变特征。该模型允许具有多分辨率表示的足够网络可伸缩性。通过小波收缩激活函数学习了强大的信号嵌入，该函数会过滤冗余高通表示，同时保持近似旋转不变性。 NES实现了量子化学回归和宇宙微波背景（CMB）的最新性能，删除重建，这显示了通过高分辨率和多尺度球形信号表示解决科学挑战的巨大潜力。
translated by 谷歌翻译
无源域的适应（SFDA）旨在将预先培训的源模型调整到未标记的目标域而无需访问标记良好的源数据的情况下，由于数据隐私，安全性和传输问题，这是一个更实用的设置。为了弥补缺乏源数据，大多数现有方法引入了基于特征原型的伪标记策略，以实现自我训练模型的适应性。但是，特征原型是通过基于实例级预测的特征群集获得的，该特征群集是偏见的，并且倾向于导致嘈杂的标签，因为源和目标之间的视觉域间隙通常不同。此外，我们发现单中心特征原型可能无效地表示每个类别并引入负转移，尤其是对于这些硬转移数据。为了解决这些问题，我们为SFDA任务提供了一般类平衡的多中心动态原型（BMD）策略。具体而言，对于每个目标类别，我们首先引入全球类间平衡抽样策略，以汇总潜在的代表性目标样本。然后，我们设计了一类多中心聚类策略，以实现更健壮和代表性的原型生成。与在固定培训期更新伪标签的现有策略相反，我们进一步引入了动态伪标签策略，以在模型适应过程中结合网络更新信息。广泛的实验表明，所提出的模型不可替代的BMD策略显着改善了代表性的SFDA方法，以产生新的最新结果。该代码可在https://github.com/ispc-lab/bmd上找到。
translated by 谷歌翻译
压缩传感（CS）一直在加速磁共振成像（MRI）采集过程中的关键作用。随着人工智能的复苏，深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性，多样性和表现的大量增长，这些技术致力于快速MRI。在该荟萃分析中，我们系统地审查了快速MRI的深度学习的CS技术，描述了关键模型设计，突出突破，并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统，以评估深度学习在基于CS的加速度的MRI的关键作用。
translated by 谷歌翻译